HyperTech 是一个全球前沿视野的编译栏目,我们筛选近期科技领域的评论文章,进行信息整合并提供所有原文链接。
元宇宙的基建除了数字孪生等技术构建的虚拟场景外,还需要很多「NPC」的存在,形成一个更完整的生态并使用户在其中的互动更丰富、更有沉浸感。
事实上,元宇宙在很多技术层都由 AI(人工智能) 驱动和填充,比如为空间计算提供动力,为创作者提供工具,为虚拟角色提供更复杂的对话形式等。
11 月 9 日,NVIDIA CEO 黄仁勋在 GTC (GPU Technology Conference,GPU 技术大会)在线会议上的主题演讲中宣布了 Omniverse Avatar,它是一个生成沉浸式 AI 驱动的虚拟化身(AI avatars)的平台。用这个平台创建的虚拟化身是具有光线追踪 3D 图形的交互式角色,它们可以看到、说话、就广泛的主题进行交谈,并理解人说话的意图。
除了像 NVIDIA 这样的公司创造的为企业提供服务的 AI 虚拟助手,这类元宇宙原住民的创造还要依靠高保真「捏人」技术以及让这些虚拟人更有交互感的技术。
用Metahuman Creator捏个高保真虚拟人
Epic Games 在今年 2 月推出了一款基于浏览器的新软件 MetaHuman Creator,由自家的 Unreal Engine 提供支持,可以制作高度逼真的人脸,并帮助支持更逼真的身体动作和面部动画。
Epic 表示,MetaHuman Creator 可以与现代动作捕捉和动画技术结合使用,以创建为视频游戏、电影、电视和其他格式构建的逼真动作和人类交互场景。这些逼真的人物可以在几分钟内生成,并配备独特的发型和服装,然后可以进一步定制以满足制作的需求。这些「超人类」可以在工具本身内实时操纵,只需使用浏览器。
Epic 数字人类技术副总裁 Vladimir Mastilovic 提到:「到目前为止,3D 内容创作中最艰巨的任务之一是构建真正令人信服的数字人类。即使是最有经验的艺术家也需要大量的时间、精力和设备,仅仅为了一个角色。经过数十年的研发,并且由于将 3Lateral、Cubic Motion 和 Quixel 等公司引入 Epic 家族,Unreal Engine 正在消除这一障碍。」
今年 5 月,国内第一位 Metahuman(超写实数字人)AYAYI 面世,她是由燃麦科技推出的第一款 Metahuman 产品。现在的她已经成为小红书上虚拟偶像的顶流, 而其发展路线也比较偏向于 IP 的软性开发。
AYAYI像 AYAYI 这样,基于 Unreal Engine 开发一些 3D 高保真数字仿真人,再把他们当作虚拟偶像 IP 孵化的商业路线已经很常见。因此这种商业模式也越来越卷,虽然和二次元偶像相比,现在的 3D 高保真数字仿真人在视觉技术和审美上已经有所进步,这也让这样的虚拟偶像更有代言或其他品牌价值。但是放在元宇宙的语境中来说,这些虚拟偶像目前和人们的互动方式还是太单薄了。可以想象这样一个画面:未来我们使用自己的虚拟数字化身,进到元宇宙中和 AYAYI 这类虚拟人见面,甚至还可以有更丰富的对话和互动。一些初创公司致力于提供构建沉浸式角色的技术。Inworld AI 正在进入竞争激烈的 AI 和机器学习开发领域,并与 Open AI 和 Google AI 等成熟供应商竞争。但 Inworld AI 填补了市场上的独特空白,因为它提供了一种高度专业化的解决方案,用于为 AI 驱动的虚拟角色开发对话式 AI,而不是通用机器学习模型。同时,Inworld AI 正在开发的 AI 解决方案将支持虚拟角色创建,其功能的复杂性远远超出 Pandora Bots 和 Soul Machines 等 AI 虚拟角色。Soul Machines 的 Human OS 2.0 数字人Inworld AI 的创始人包括众多专家,例如曾担任 API.ai 首席执行官的 Gelfenbeyn、领导 API.ai 机器学习开发和谷歌 Dialogflow NLU/AI 团队的首席技术官 Michael Ermolenko,以及产品总监 Kylan Gibbs,他曾在 DeepMind 领导应用生成语言模型的产品。这支团队的履历让他们在为交互式虚拟角色设定标准方面很有竞争力,毕竟,「元宇宙和其他沉浸式应用程序的广泛成功取决于这些体验能否受到好评」,这家公司的一位投资人说。「许多现有公司的解决方案只能为脚本触发器和对话提供有限的解决方案。事实上,我们的团队建立了此类服务的最大提供商之一(API.ai,被谷歌收购,现在称为谷歌 Dialogflow),因此我们非常熟悉它们的能力。」Inworld AI 的创始人&CEO Gelfenbeyn 说。「其他公司也开始尝试新技术(例如海量语言模型),我们虽然也认为这部分技术很必需,但也只提供了使虚拟角色真正变得栩栩如生所必需的堆栈中的一部分。」换句话说,这些常见的解决方案只是触及了人机交互的皮毛,而 Inworld AI 复制人类认知的方法旨在创建更智能的虚拟角色。随着元宇宙概念的升温,Inworld AI 还可以发挥独特的作用,为元宇宙平台提供工具集,他们可以使用这些工具集来创建复杂的虚拟角色并为用户创造更具吸引力的数字体验。这些体验所营造的沉浸程度将决定元宇宙是生是死。开发人员可以使用 Inworld AI 构建的体验类型很多。正如 Gelfenbeyn 解释的那样,「随着世界和用例的生态系统越来越多样化和引人入胜,沉浸式现实继续加速发展。像 Meta 的 Horizon Worlds、Roblox、Fortnite 和其他提供独特体验并使用户能够在其他世界中生存的虚拟空间也将继续看到企业的快速需求,提供从游戏到故事内容再到企业应用的一切。」给 NPC 再加个「大脑」
在一次采访中,Gelfenbeyn 解释说:「Inworld AI 是一个工具平台,使开发人员能够为不同的环境添加虚拟角色的大脑并构建这些角色,以填充虚拟环境,包括 Metaverse、VR 和 AR 世界。」为了成功创建沉浸式角色,Inworld AI 通过利用自然语言理解和处理、光学字符识别、强化学习和对话式 AI 等 AI 技术的混合来模仿人类的认知能力来开发复杂的虚拟角色。Inworld AI 根据人脑的灵感构建技术堆栈。由三个主要部分组成:感知、认知和行为。1.感知来自于对环境和其他代理的输入和理解,为了使虚拟角色能够通过听觉和视觉感知环境,这部分使用了语音到文本、规则引擎、自然语言理解、OCR 和事件触发器技术的复杂组合。2.认知是关于角色的内部状态,例如记忆、情感、个性、目标和背景,在这一部分,Inworld AI 将使用自然语言处理、情感识别、强化学习和目标导向的对话 AI 来增强虚拟角色的认知能力。3.行为与角色的输出或交互有关,例如言语手势、肢体语言和动作。最先进的生成语言模型、强化学习以及定制的语音和情感合成等技术使虚拟角色能够复制人类的手势和行为。这三个组件共同为开发人员构建虚拟角色提供了一个坚实的框架,这些虚拟角色可以对自然语言做出详细的响应,感知数字环境,并为用户提供重要的交互。尽管这些技术只是为数字世界创造和填充「数字劳动力」和更逼真的「本地人口」提供技术支持,但正是这些优化用户交互体验的技术进步使得整个数字世界对人更有吸引力。实现具有复杂虚拟角色的完整、沉浸式现实还有很长的路要走,但 AI 驱动的创造更完整虚拟人的技术挑战者的出现会推动一个更有活力的交互式数字世界的诞生。
Inworld AI joins metaverse innovation with AI-driven virtual characters
https://t.cn/A6xV0gTq
The Metaverse and Artificial Intelligence
https://t.cn/A6xV0Dps
Hyper 一下🎊
模拟整个地球:NVIDIA Earth-2 超级计算机即将上线NVIDIA 在 11 月的 GTC 上宣布计划打造全球最强大的人工智能超级计算机 Earth-2,专门用来预测气候变化,它将在 Omniverse 中创造一个地球的数字孪生。CEO 黄仁勋表示,为了制定最佳策略来减缓和适应气候变化,需要能够预测全球不同区域几十年气候变化的气候模型。与主要模拟大气物理的天气预测不同,气候模型是针对大气、水、冰、陆地和人类活动,从物理、化学和生物学等方面进行数十年的模拟。目前,气候模拟的分辨率为 10 到 100 公里。但是要模拟全球从海洋、海冰、陆地表面和地下水到大气和云层的整个水循环过程,就需要更高的分辨率。科学家估计,需要比目前可用算力高出数百万到数十亿倍的算力。如果按照算力每 5 年提升 10 倍的常规标准来算,实现这一目标需要几十年的时间。黄仁勋表示,NVIDIA 第一次拥有了构建超高分辨率气候模型的技术,能够以光速来预测未来几十年的区域极端天气变化。通过结合 GPU 加速计算、深度学习和内嵌物理信息的神经网络的突破以及人工智能超级计算机三大技术,再加上大量可供学习的观测和模型数据,可以实现百万倍的加速。他透露,NVIDIA很快会公布 Earth-2 的架构,新架构将使公司能够打造出有史以来最节能的超级计算机。它是为 Omniverse 而设计的超级计算机,如果将地球想像成一个物理的存在,Earth-2 就是另一个世界的引擎。
「前沿社」是优秀企业家的动态交流学习社群,由极客公园发起成立。前沿社每月持续进行企业家闭⻔学习交流活动,深度探讨商业组织成长的方法论,并追求以最有效率的学习和沟通机制,帮助企业家把握技术潮流、连接产业前沿,通过不断突破认知瓶颈,帮助企业家持续向前。
「前沿社」也致力于将更多的「商业常识」、更先进的思维方式,带入到科技创业和用科技改变世界的进程中,传承更多的创始人思维和真正的企业家精神。